频度|时务_服务器性能调优

篇首语：本文由编程笔记#小编为大家整理，主要介绍了服务器性能调优相关的知识，希望对你有一定的参考价值。

好记忆不如烂笔头&＃xff0c;能记下点东西&＃xff0c;就记下点&＃xff0c;有时间拿出来看看&＃xff0c;也会发觉不一样的感受。

目录

一、概述

二、服务器参数调优

1.修改文件进程数

2.系统对该用户访问资源限制

3.用户打开文件数的软限制和硬限制

 4.内核TCP参数方面

 5.用户打开文件数的软限制和硬限制

6. 让配置生效

7.最终参数

一、概述

一般来说&＃xff0c;考量一个系统的性能主要看这两个指标。而这两个指标之间又存在着一些联系&＃xff1a;对于指定的系统来说&＃xff0c;系统的吞吐量越大&＃xff0c;处理的请求越多&＃xff0c;服务器就越繁忙&＃xff0c;响应速度就会慢下来&＃xff1b;而延迟越低的系统&＃xff0c;能够承载的吞吐量也相应的更高一些。一方面&＃xff0c;我们需要提高系统的吞吐量&＃xff0c;以便服务更多的用户&＃xff0c;另一方面我们需要将延迟控制在合理的范围内&＃xff0c;以保证服务质量。

衡量指标

• 吞吐量&＃xff08;Throughput&＃xff09; 系统单位时间内处理任务的数量

• 延迟&＃xff08;Latency&＃xff09; 系统对单个任务的平均响应时间

入正题&＃xff0c;那么如何通过调试服务器的参数&＃xff0c;来实现系统高吞吐&＃xff0c;低延迟呐 &＃xff1f;

二、服务器参数调优

1.修改文件进程数

编辑文件/etc/sysctl.conf&＃xff0c;系统进程所能打开的文件个数和单个进程所能打开的文件个数设置

#它是系统单个进程一共可以打开的文件数量&＃xff0c;具体数值可以根据情况设置&＃xff0c;默认值是&＃xff1a;1024*1024 &＃61; 1048576
fs.nr_open &＃61; 1048576
#它是系统所有进程一共可以打开的文件数量&＃xff0c;它是系统级别的&＃xff0c;因此应该尽量将它调的大一些&＃xff0c;这里将它修改为单个进程的100倍&＃xff0c;这个已经非常大了
fs.file-max &＃61; 104857600
重点&＃xff1a;file-max是对所有进程&＃xff08;all processes&＃xff09;的限制&＃xff0c;而nr_open是对单个进程&＃xff08;a process&＃xff09;的限制

2.系统对该用户访问资源限制

修改 /etc/pam.d/login 文件&＃xff0c;在文件中添加如下信息&＃xff1a;

session required /lib/security/pam_limits.so
描述&＃xff1a;这是告诉Linux在用户完成系统登录后&＃xff0c;应该调用pam_limits.so模块来设置系统对该用户可使用的各种资源数量的最大限制(包括用户可打开的最大文件数限制)&＃xff0c;而pam_limits.so模块就会从/etc/security/limits.conf文件中读取配置来设置这些限制值。修改完后保存此文件

3.用户打开文件数的软限制和硬限制

辑文件/etc/security/limits.conf&＃xff0c;/etc/sysctl.conf&＃xff0c;添加用户打开文件个数&＃xff1a;

* hard nofile 65535
* soft nofile 65535
讲解&＃xff1a;&＃39;*&＃39;号表示修改所有用户的限制&＃xff1b;hard意为硬资源限制&＃xff1a;一旦被superuser设置后不能增加&＃xff1b;soft为软资源设置&＃xff1a;设置后在程序运行期间可以增加&＃xff0c;但不能超过hard的限制。程序读取的是soft&＃xff0c;它是一个告警值。 nofile意为用户打开最大文件描述符数量&＃xff0c;在Linux下运行的网络服务器程序&＃xff0c;每个tcp连接都要占用一个文件描述符&＃xff0c;一旦文件描述符耗尽&＃xff0c;新的连接到来就会返回"Too many open files"这样的错误&＃xff0c;为了提高并发数&＃xff0c;需要提高这项配置的数值。
注意&＃xff1a;nofile 的值一定不能高于 nr_open &＃xff0c;否则用户ssh登录不了系统&＃xff0c;所以操作时务必小心

 4.内核TCP参数方面

Linux系统下&＃xff0c;TCP连接断开后&＃xff0c;会以TIME_WAIT状态保留一定的时间&＃xff0c;然后才会释放端口。当并发请求过多的时候&＃xff0c;就会产生大量的TIME_WAIT状态的连接&＃xff0c;无法及时断开的话&＃xff0c;会占用大量的端口资源和服务器资源。这个时候我们可以优化TCP的内核参数&＃xff0c;来及时将TIME_WAIT状态的端口清理掉。

当前TCP连接的状态和对应的连接数量&＃xff0c;参考使用命令查看&＃xff1a;

netstat -n | awk &＃39;/^tcp/ &＃43;&＃43;S[$NF] END for(a in S) print a, S[a]&＃39;


 只用关心TIME_WAIT的个数&＃xff0c;在这里可以看到&＃xff0c;有80多个TIME_WAIT&＃xff0c;这样就占用了80多个端口。要知道端口的数量只有65535个&＃xff0c;占用一个少一个&＃xff0c;会严重的影响到后继的新连接。这种情况下&＃xff0c;我们就有必要调整下Linux的TCP内核参数&＃xff0c;让系统更快的释放TIME_WAIT连接。

编辑配置文件:/etc/sysctl.conf&＃xff0c;在这个文件中&＃xff0c;加入下面的几行内容&＃xff1a;

net.ipv4.tcp_synCOOKIEs&＃61; 1
net.ipv4.tcp_tw_reuse&＃61; 1
net.ipv4.tcp_tw_recycle&＃61; 1
net.ipv4.tcp_fin_timeout&＃61; 30
参数描述&＃xff1a;
net.ipv4.tcp_synCOOKIEs&＃61; 1
#表示开启SYNCOOKIEs。当出现SYN等待队列溢出时&＃xff0c;启用COOKIEs来处理&＃xff0c;可防范少量SYN攻击&＃xff0c;默认为0&＃xff0c;表示关闭&＃xff1b;
net.ipv4.tcp_tw_reuse&＃61; 1
#表示开启重用。允许将TIME-WAITsockets重新用于新的TCP连接&＃xff0c;默认为0&＃xff0c;表示关闭&＃xff1b;
net.ipv4.tcp_tw_recycle&＃61; 1
#表示开启TCP连接中TIME-WAITsockets的快速回收&＃xff0c;默认为0&＃xff0c;表示关闭&＃xff1b;
net.ipv4.tcp_fin_timeout
#修改系統默认的TIMEOUT 时间。


在经过这样的调整之后&＃xff0c;除了会进一步提升服务器的负载能力之外&＃xff0c;还能够防御小流量程度的DoS、CC和SYN攻击。

此外&＃xff0c;如果你的连接数本身就很多&＃xff0c;我们可以再优化一下TCP的可使用端口范围&＃xff0c;进一步提升服务器的并发能力。依然是往上面的参数文件中&＃xff0c;加入下面这些配置&＃xff1a;

net.ipv4.tcp_keepalive_time&＃61; 1200
net.ipv4.ip_local_port_range&＃61; 1024 65535
net.ipv4.tcp_max_syn_backlog&＃61; 8192
net.ipv4.tcp_max_tw_buckets&＃61; 5000
描述&＃xff1a;这几个参数&＃xff0c;建议只在流量非常大的服务器上开启&＃xff0c;会有显著的效果。一般的流量小的服务器上&＃xff0c;没有必要去设置这几个参数。
net.ipv4.tcp_keepalive_time&＃61; 1200
表示当keepalive起用的时候&＃xff0c;TCP发送keepalive消息的频度。缺省是2小时&＃xff0c;改为20分钟。
ip_local_port_range&＃61; 1024 65535
表示用于向外连接的端口范围。缺省情况下很小&＃xff0c;改为1024到65535。
net.ipv4.tcp_max_syn_backlog&＃61; 8192
表示SYN队列的长度&＃xff0c;默认为1024&＃xff0c;加大队列长度为8192&＃xff0c;可以容纳更多等待连接的网络连接数。
net.ipv4.tcp_max_tw_buckets&＃61; 5000
表示系统同时保持TIME_WAIT的最大数量&＃xff0c;如果超过这个数字&＃xff0c;TIME_WAIT将立刻被清除并打印警告信息。默认为180000&＃xff0c;改为5000。此项参数可以控制TIME_WAIT的最大数量&＃xff0c;只要超出了。
内核其他TCP参数说明
net.ipv4.tcp_max_syn_backlog&＃61; 65535
#记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M内存的系统而言&＃xff0c;缺省值是1024&＃xff0c;小内存的系统则是128。
net.core.netdev_max_backlog&＃61; 32768
#每个网络接口接收数据包的速率比内核处理这些包的速率快时&＃xff0c;允许送到队列的数据包的最大数目。
net.core.somaxconn&＃61; 32768
在经过这样的调整之后&＃xff0c;除了会进一步提升服务器的负载能力之外&＃xff0c;还能够防御小流量程度的DoS、CC和SYN攻击。此外&＃xff0c;如果你的连接数本身就很多&＃xff0c;我们可以再优化一下TCP的可使用端口范围&＃xff0c;进一步提升服务器的并发能力。依然是往上面的参数文件中&＃xff0c;加入下面这些配置&＃xff1a;
net.ipv4.tcp_keepalive_time&＃61; 1200
net.ipv4.ip_local_port_range&＃61; 1024 65535
net.ipv4.tcp_max_syn_backlog&＃61; 8192
net.ipv4.tcp_max_tw_buckets&＃61; 5000
这几个参数&＃xff0c;建议只在流量非常大的服务器上开启&＃xff0c;会有显著的效果。一般的流量小的服务器上&＃xff0c;没有必要去设置这几个参数。
net.ipv4.tcp_keepalive_time&＃61; 1200
表示当keepalive起用的时候&＃xff0c;TCP发送keepalive消息的频度。缺省是2小时&＃xff0c;改为20分钟。
ip_local_port_range&＃61; 1024 65535
表示用于向外连接的端口范围。缺省情况下很小&＃xff0c;改为1024到65535。
net.ipv4.tcp_max_syn_backlog&＃61; 8192
表示SYN队列的长度&＃xff0c;默认为1024&＃xff0c;加大队列长度为8192&＃xff0c;可以容纳更多等待连接的网络连接数。
net.ipv4.tcp_max_tw_buckets&＃61; 5000
表示系统同时保持TIME_WAIT的最大数量&＃xff0c;如果超过这个数字&＃xff0c;TIME_WAIT将立刻被清除并打印警告信息。默认为180000&＃xff0c;改为5000。此项参数可以控制TIME_WAIT的最大数量&＃xff0c;只要超出了。
内核其他TCP参数说明
net.ipv4.tcp_max_syn_backlog&＃61; 65535
#记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M内存的系统而言&＃xff0c;缺省值是1024&＃xff0c;小内存的系统则是128。
net.core.netdev_max_backlog&＃61; 32768
#每个网络接口接收数据包的速率比内核处理这些包的速率快时&＃xff0c;允许送到队列的数据包的最大数目。
net.core.somaxconn&＃61; 32768
例如web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128&＃xff0c;而nginx定义的NGX_LISTEN_BACKLOG默认为511&＃xff0c;所以有必要调整这个值。
net.core.wmem_default&＃61; 8388608
net.core.rmem_default&＃61; 8388608
net.core.rmem_max&＃61; 16777216 #最大socket读buffer,可参考的优化值:873200
net.core.wmem_max&＃61; 16777216 #最大socket写buffer,可参考的优化值:873200
net.ipv4.tcp_timestsmps&＃61; 0
时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种“异常”的数据包。这里需要将其关掉。
net.ipv4.tcp_synack_retries&＃61; 2
为了打开对端的连接&＃xff0c;内核需要发送一个SYN并附带一个回应前面一个SYN的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN&＃43;ACK包的数量。
net.ipv4.tcp_syn_retries&＃61; 2
在内核放弃建立连接之前发送SYN包的数量。
#net.ipv4.tcp_tw_len&＃61; 1
net.ipv4.tcp_tw_reuse&＃61; 1
开启重用。允许将TIME-WAITsockets重新用于新的TCP连接。
net.ipv4.tcp_wmem&＃61; 8192 436600 873200
TCP写buffer,可参考的优化值:8192 436600 873200
net.ipv4.tcp_rmem &＃61; 32768 436600 873200
CP读buffer,可参考的优化值:32768 436600 873200
net.ipv4.tcp_mem&＃61; 94500000 91500000 92700000
同样有3个值,意思是:
net.ipv4.tcp_mem[0]:低于此值&＃xff0c;TCP没有内存压力。
net.ipv4.tcp_mem[1]:在此值下&＃xff0c;进入内存压力阶段。
net.ipv4.tcp_mem[2]:高于此值&＃xff0c;TCP拒绝分配socket。上述内存单位是页&＃xff0c;而不是字节。可参考的优化值是:7864321048576 1572864
net.ipv4.tcp_max_orphans&＃61; 3276800
系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。
如果超过这个数字&＃xff0c;连接将即刻被复位并打印出警告信息。
这个限制仅仅是为了防止简单的DoS攻击&＃xff0c;不能过分依靠它或者人为地减小这个值&＃xff0c;
更应该增加这个值(如果增加了内存之后)。
net.ipv4.tcp_fin_timeout&＃61; 30
如果套接字由本端要求关闭&＃xff0c;这个参数决定了它保持在FIN-WAIT-2状态的时间。对端可以出错并永远不关闭连接&＃xff0c;甚至意外当机。缺省值是60秒。2.2 内核的通常值是180秒&＃xff0c;你可以按这个设置&＃xff0c;但要记住的是&＃xff0c;即使你的机器是一个轻载的WEB服务器&＃xff0c;也有因为大量的死套接字而内存溢出的风险&＃xff0c;FIN-WAIT-2的危险性比FIN-WAIT-1要小&＃xff0c;因为它最多只能吃掉1.5K内存&＃xff0c;但是它们的生存期长些。同时还涉及到一个TCP 拥塞算法的问题&＃xff0c;你可以用下面的命令查看本机提供的拥塞算法控制模块&＃xff1a;
sysctlnet.ipv4.tcp_available_congestion_control
对于几种算法的分析&＃xff0c;详情可以参考下&＃xff1a;TCP拥塞控制算法的优缺点、适用环境、性能分析&＃xff0c;比如高延时可以试用hybla&＃xff0c;中等延时可以试用htcp算法等。如果想设置TCP 拥塞算法为hybla
net.ipv4.tcp_congestion_control&＃61;hybla
额外的&＃xff0c;对于内核版高于于3.7.1的&＃xff0c;我们可以开启tcp_fastopen&＃xff1a;
net.ipv4.tcp_fastopen&＃61; 3
IO事件分配机制
在Linux启用高并发TCP连接&＃xff0c;必须确认应用程序是否使用了合适的网络I/O技术和I/O事件分派机制。可用的I/O技术有同步I/O&＃xff0c;非阻塞式同步I/O&＃xff0c;以及异步I/O。在高TCP并发的情形下&＃xff0c;如果使用同步I/O&＃xff0c;这会严重阻塞程序的运转&＃xff0c;除非为每个TCP连接的I/O创建一个线程。但是&＃xff0c;过多的线程又会因系统对线程的调度造成巨大开销。因此&＃xff0c;在高TCP并发的情形下使用同步I/O是不可取的&＃xff0c;这时可以考虑使用非阻塞式同步I/O或异步I/O。非阻塞式同步I/O的技术包括使用select()&＃xff0c;poll()&＃xff0c;epoll等机制。异步I/O的技术就是使用AIO。
从I/O事件分派机制来看&＃xff0c;使用select()是不合适的&＃xff0c;因为它所支持的并发连接数有限(通常在1024个以内)。如果考虑性能&＃xff0c;poll()也是不合适的&＃xff0c;尽管它可以支持的较高的TCP并发数&＃xff0c;但是由于其采用“轮询”机制&＃xff0c;当并发数较高时&＃xff0c;其运行效率相当低&＃xff0c;并可能存在I/O事件分派不均&＃xff0c;导致部分TCP连接上的I/O出现“饥饿”现象。而如果使用epoll或AIO&＃xff0c;则没有上述问题(早期Linux内核的AIO技术实现是通过在内核中为每个I/O请求创建一个线程来实现的&＃xff0c;这种实现机制在高并发TCP连接的情形下使用其实也有严重的性能问题。但在最新的Linux内核中&＃xff0c;AIO的实现已经得到改进)。
综上所述&＃xff0c;在开发支持高并发TCP连接的Linux应用程序时&＃xff0c;应尽量使用epoll或AIO技术来实现并发的TCP连接上的I/O控制&＃xff0c;这将为提升程序对高并发TCP连接的支持提供有效的I/O保证。
经过这样的优化配置之后&＃xff0c;服务器的TCP并发处理能力会显著提高。以上配置仅供参考&＃xff0c;用于生产环境请根据自己的实际情况调整观察再调整。

以上参数&＃xff0c;都需要根据实际情况进行调整

 5.用户打开文件数的软限制和硬限制

辑文件/etc/security/limits.conf&＃xff0c;/etc/sysctl.conf&＃xff0c;添加用户打开文件个数&＃xff1a;

* hard nofile 65535
* soft nofile 65535
讲解&＃xff1a;&＃39;*&＃39;号表示修改所有用户的限制&＃xff1b;hard意为硬资源限制&＃xff1a;一旦被superuser设置后不能增加&＃xff1b;soft为软资源设置&＃xff1a;设置后在程序运行期间可以增加&＃xff0c;但不能超过hard的限制。程序读取的是soft&＃xff0c;它是一个告警值。 nofile意为用户打开最大文件描述符数量&＃xff0c;在Linux下运行的网络服务器程序&＃xff0c;每个tcp连接都要占用一个文件描述符&＃xff0c;一旦文件描述符耗尽&＃xff0c;新的连接到来就会返回"Too many open files"这样的错误&＃xff0c;为了提高并发数&＃xff0c;需要提高这项配置的数值。
注意&＃xff1a;nofile 的值一定不能高于 nr_open &＃xff0c;否则用户ssh登录不了系统&＃xff0c;所以操作时务必小心

6. 让配置生效

修改完上述设置之后&＃xff0c;可以执行脚本&＃xff0c;让配置都生效

# sysctl -p


7.最终参数

/etc/sysctl.conf 的设置

fs.nr_open &＃61; 1048576
fs.file-max &＃61; 104857600

#打开文件设置
* soft nofile 65535
* hard nofile 65535

#网络tcp设置
net.ipv4.tcp_synCOOKIEs&＃61; 1
net.ipv4.tcp_tw_reuse&＃61; 1
net.ipv4.tcp_tw_recycle&＃61; 1
net.ipv4.tcp_fin_timeout&＃61; 30


#tcp和ip设置
net.ipv4.tcp_keepalive_time&＃61; 1800
net.ipv4.ip_local_port_range&＃61; 1024 65535
net.ipv4.tcp_max_syn_backlog&＃61; 8192
net.ipv4.tcp_max_tw_buckets&＃61; 5000

#参数调试
net.core.rmem_default &＃61; 2097152
net.core.rmem_max &＃61; 5242880
net.core.wmem_default &＃61; 2097152
net.core.wmem_max &＃61; 5242880
net.ipv4.tcp_mem &＃61; 65536 393216 524288
net.ipv4.tcp_rmem &＃61; 1048576 2097152 5242880
net.ipv4.tcp_wmem &＃61; 1048576 2097152 5242880

/etc/pam.d/login  的设置

session required /lib/security/pam_limits.so

/etc/security/limits.conf 的设置

#打开文件设置
* soft nofile 65535
* hard nofile 65535